MemGPT : l'esquisse de LLM inspirés des systèmes d'exploitation | Silicon

Clément Bohic - Silicon - 21/11
L'expérience MemGPT propose d'élargir la fenêtre de contexte des LLM en les dotant d'une gestion mémoire et d'un contrôle de flux inspiré des OS.

Une gestion mémoire et un contrôle de flux inspirés des systèmes d’exploitation peuvent-ils pallier les limites des fenêtres de contexte des LLM ? L’expérience MemGPT (Memory-GPT) s’est inscrite dans cette réflexion.

Les « limites » en question, c’est d’abord la taille de ces fenêtres. Mais c’est aussi celles qu’on rencontre quand on veut les élargir. D’une part, en matière de ressources : le mécanisme d’attention des transformeurs induit une augmentation quadratique du temps de calcul et du coût mémoire. D’autre part, en termes de performances : les modèles ont du mal à exploiter les contextes étendus, ayant tendance à mieux utiliser l’information se trouvant au début et à la fin de la fenêtre.

En reprenant le principe de la mémoire virtuelle, MemGPT étend de façon indirecte cette fenêtre, assimilable à de la RAM. Par ...
[Courte citation de 8% de l'article original]